OstreeGpgVerifier: Take the signed data as a GBytes

Similar to c2b01ad.  For some reason I was thinking the commit data
still needed to be written to disk prior to verifying, but it's just
another artifact of spawning gpgv2 (predates using GPGME).

Makes for a nice cleanup in fetch_metadata_to_verify_delta_superblock()
as well.

OstreeGpgVerifier: Don't add trustdb.gpg to the keyring list

In case someone like me is mucking around in $OSTREE_GPG_HOME and
accidentally creates a trust database there.

ostree-repo.c: fix typo

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

repo: Delete .commitmeta file on empty metadata

The API docs for ostree_repo_write_commit_detached_metadata() were
written as though it already behaved that way.

https://bugzilla.gnome.org/746123

build: Use both pkg-config and AM_PATH_GPGME

Apparently OpenEmbeddeded only supports pkg-config (and includes
gpgme.pc in its content), and Fedora only has the latter.  So do both.

configure.ac: Make gpgme a hard dependency

In anticipation of API enhancements for GPG signature verification, which
would otherwise require a non-functional stub version were GPGME excluded.

GPGME is a pretty lightweight dependency, and the motivation to exclude
it is not clear.

README.md: Note make check

sysroot: Port some deployment reading code to fd-relative APIs

More low hanging fruit in the sysroot department.

deployment: Add an API to get relative origin path

This will be used for fd-relative cleanups.

sysroot: Drop unnecessary new sysroot object

We're asserting that "/" is the same as our path, so we don't need to
make a new object.

ostree-prepare-root: log informational messages to stdout

ostree-prepare-root was logging normal, informational messages
to stderr which the systemd unit points to the console.

To achieve silent boot, log these ordinary messages to stdout only.

glnx: Update

sysroot: Make origin parsing code fd-relative

Just more API conversion.

sysroot: Read the bootloader configuration with fd-relative API

Another piece of the conversion.

sysroot: Read some bootloader state with fd-relative API

This is the start of migrating the deployment path to fd-relative
code.

tests: Add tests for test-ot-tool-util

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

src: Drop unused argument "value" from ot_parse_boolean

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

src: Move ot-tool-util from ostree/ to libotutil/

These utilities are not actually specific to the ostree commandline.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

libotutil: remove ot-waitable-queue.

The module is not not used anymore.  It can be restored from git if
needed again.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: add test for test-ot-opt-utils.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

keyfile-utils: add tests

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ot_keyfile_copy_group: return FALSE on invalid inputs

The function returns a gboolean, replace g_return_if_fail with
g_return_val_if_fail.

Add similar checks to the other functions.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ostree-repo-refs: Drop unused function "parse_rev_file".

If it will be needed in future, it can be retrieved from the git
history.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

src: drop some dead assignments

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

OstreeGpgVerifier: Take the signature as a GBytes

The signature data is in memory to begin with, so there's no need to
write it to disk only to immediately read it back.

Also, because the GPGME multi-keyring workaround is somewhat expensive
to setup and teardown, concatenate all signatures into a single GBytes
so _ostree_gpg_verifier_check_signature() is only called once.  We're
currently only looking for one valid signature anyway.

gpg: Rewrite OstreeGpgVerifier to use GPGME

This sets the stage for more advanced signature management.

(Also, talking to GPG over pipes sucks.)

Previously we were spawning gpgv2 with a bunch of --keyring options
for /usr/share/ostree/trusted.gpg.d/ and whatever other keyring files
were explicitly added.  GPGME has no public API for multiple keyrings,
so we work around the issue by setting up a temp directory to serve as
a fake "home" directory for the crypto engine and then concatenate all
the keyring files into a single public keyring (pubring.gpg).

Unfortunately at present we do this on every signature verification.
There's a desire to cache this concatenation, but the problem is the
user may be unprivileged.  So it seems the cache would have to be per
user under $XDG_CACHE_HOME, which OSTree doesn't otherwise use.  I'm
open to suggestions.

We do at least clean up the temp directory when finished, and I have
further API changes planned to OstreeGpgVerifier to help mitigate the
performance impact.

tests: add tests for mutable tree.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

repo: Fix assertion to allow NULL options

Spotted by Adam Coldrick.

commit: Add missing (allow-none) in write_ref_immediate()

Spotted by Adam Coldrick.

deltas: Use mmap() instead of copying input file

It's more efficient.

deltas: Gather statistics on total number rollsum'd and bsdiff'd

Useful for debugging at least.  Though in the future it'd be nice to
store this inside the delta metadata maybe?

tests: Remove some duplications from Makefile-tests.am

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: enforce ${CMD_PREFIX} on all ostree processes

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ostree_repo_static_delta_generate: add new param "verbose"

it will be used by the next patch that adds "--generate-static-delta"
to the commit command.

As part of the patch, update the list of supported "params" in the
documentation.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

static-delta: Add --disable-bsdiff option

A builder may not want to pay the CPU penalty.  Also it's useful for
evaluating performance.

Makefile.dist-packaging: fix make rpm with submodules

Makefile.dist-packaging seems to assume to be run under packaging/ as
"make -C packaging -f Makefile.dist-packaging rpm" so ensure the
srcdir is set correctly to point to the parent directory.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

Fix "make syntax-check" failures.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

autogen.sh: replace all $(libbsdiff_srcpath) and $(libglnx_srcpath)

The variable could be specified more times on the same line, having
something like:

EXTRA_DIST += ./libglnx/README $(libglnx_srcpath)/COPYING

Now the change ensures that it looks like:

EXTRA_DIST += ./libglnx/README ./libglnx/COPYING

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: add test for bsdiff

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

static-delta: increase threshold for rollsum to 50%

It favours bsdiff usage for files that are not very rollsum friendly.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

Add bsdiff support to deltas

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

Add bsdiff submodule

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

repo: Port hardlink-scanning code to fd-relative calls

Continuing the migration.

repo: Drop internal GFile* API helper

There are no users anymore.

deploy: Use glnx file copy code

This is centralizing more generic utility code in libglnx.

core: Fix duplication bug in _ostree_detached_metadata_append_gpg_sig()

g_variant_builder_add() does not replace identical keys in a VARDICT
variant, so signing a commit multiple times results in multiple copies
of "ostree.gpgsigs" in the metadata.  And since g_variant_lookup_value()
stops on the first match, subsequent signatures have no net effect.

Instead of GVariantBuilder use GVariantDict, which behaves more like a
hash table.

core: Add definitions for GPG signature metadata

_OSTREE_METADATA_GPGSIGS_NAME
_OSTREE_METADATA_GPGSIGS_TYPE

libotutil: Allow no variant in ot_util_variant_builder_from_variant()

For programming convenience in cases where we may or may not have a
GVariant to initialize the builder with.

libotutil: Remove ot_variant_new_from_bytes()

Not needed anymore - use g_variant_new_from_bytes().

configure.ac: Bump GLib requirement to 2.40

Mainly for GVariantDict, useful for metadata.

gpg: Remove _ostree_gpg_verifier_set_homedir()

Never called, and the setting is never applied anyway.

ostree: Add gpg-sign command

Signs a commit with one or more GPG keys.

repo: detached sigs: Use error prefixing instead of overwriting

Noted when "rpm-ostree compose sign" failed to write to a repo due to
permissions.

prepare-root: Move /sysroot instead of unmounting it

I originally thought this would fix a regression, but it turns out
this wasn't the bug.  But pushing anyways as it's just cleaner.

https://bugzilla.gnome.org/show_bug.cgi?id=743891

build: build libbupsplit separately

It avoids gobject-introspection warnings:

src/libostree/bupsplit.h:42: Warning: OSTree: symbol='bupsplit_find_ofs': Unknown namespace for symbol 'bupsplit_find_ofs'
src/libostree/bupsplit.h:43: Warning: OSTree: symbol='bupsplit_selftest': Unknown namespace for symbol 'bupsplit_selftest'
src/libostree/bupsplit.h:33: Warning: OSTree: symbol='BUP_BLOBBITS': Unknown namespace for symbol 'BUP_BLOBBITS'
src/libostree/bupsplit.h:34: Warning: OSTree: symbol='BUP_BLOBSIZE': Unknown namespace for symbol 'BUP_BLOBSIZE'
src/libostree/bupsplit.h:35: Warning: OSTree: symbol='BUP_WINDOWBITS': Unknown namespace for symbol 'BUP_WINDOWBITS'
src/libostree/bupsplit.h:36: Warning: OSTree: symbol='BUP_WINDOWSIZE': Unknown namespace for symbol 'BUP_WINDOWSIZE'

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ostree-repo-static-delta-processing: initialize "modev"

Can be gs_unref_variant'ed on an early error.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

Fix GObject introspection annotation

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ostree-repo-traverse.c: Fix documentation parameter name

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: Move test gpg keyring into writable tmpdir

At least the version of gpgme in RHEL7 wants to create a lock file,
work around this by copying it into the writable test temporary
directory.

Add explicit zlib dependency

Needed for CRC32 computations.

repo: Port APIs used by prune to fd-relative *at calls

More of the general trend away from GFile * to the faster and more
secure world of *at().

libglnx: Use git.gnome.org's copy

Not the master from my laptop.

checkout: Drop internal use of GFile *

Checkout was one of the first complex code paths I tried to convert to
*at().  I ended up keeping both, because I hit the "xattrs for a
symlink" problem.  Later, Florian gave me a workaround, and we started
using it here, but the GFile * parameters weren't deleted.  They're
not used, so do so now.

deploy: Also look for /usr/lib/os-release

With newer versions of systemd, the file has moved there.

Use libglnx

Starting down the path of not using libgsystem.  The main win here
will be code sharing between ostree/rpm-ostree as well as going down
the path of not using GFile * for local files.

tests: do not run tests/test-rollsum as part of make check

it is not really a unit test.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>
Conflicts:
Makefile-tests.am

repo: Check for OSTREE_REPO in ostree_repo_new_default()

Convenience feature to avoid having to pass --repo options repeatedly.

Before falling back to the default system repository path, check for a
repository path defined by the OSTREE_REPO environment variable.

libostree: set directory mtimes to 0 on checkout

We already set all file mtimes to 0 so that they are constant
over all checkouts, and can be made constant with a known value from
the system where the ostree was created.

However, this was not happening for directories. Zero their mtimes too.

This is important for shipping a fontconfig cache in the ostree;
the fontconfig cache files embed a directory mtime.

tests: Restore accidentally deleted Makefile bit

Not sure how this got deleted...

deltas: Search for similar objects (possibly renamed across directories)

The previous diff algorithm was file tree based, and only looked
at modified files that lived at the same path.

However, components like the Linux kernel have versioned
subdirectories, e.g. /usr/lib/modules/$kver/.../ext4.ko.  We want to
be able to detect these "modified renames" so that we can compute
diffs (rollsum, bsdiff).

repo: Add a new iterator traversal API for commits

This is a more optimized version of the GFile * APIs, and is now used
internally by the previous ostree_repo_traverse().

deltas: Prune deltas when the corresponding "to" commit vanishes

We want prune to actually give you back disk space when using deltas.

deltas: Make syntax-check happy

deltas: Implement rollsums

This does an rsync-style prepared delta basically.  On my test data,
it shaves ~6MB of uncompressed data.  Not a huge amount, but I expect
this to be more useful for things like binaries which embed data, etc.

deltas: Initial code to copy content from existing objects

This is preparatory work for implementing rollsum support.

deltas: Flesh out the open/write/close opcodes

Refactor open-splice-and-close to call open/close.  We can't just call
write as that would require duplicating the object size parameter.

deltas: Use the new internal streaming APIs

This is significantly more efficient.

deltas: Stub out a few more opcodes

deltas: Print total size of rollsums we would use

deltas: Compute rollsum targets

deltas: Rework format to allow streaming

There's still some silliness here, but there is now only one opcode
open-splice-and-close, that writes a single chunk from the payload.
This is really all we need for metadata, and small content objects are
also fine with this.

We get some deduplication between content objects by creating a
dictionary for (uid,gid,mode) tuples and xattrs.

This still keeps the operation/payload code in, so we could do
rollsums in a future update easily.

deltas: Add _V0 to part #define

To make more explicitly clear that this is the version that matches
the version in the metadata.

deltas: Remove support for gzipped delta parts

XZ is really, really good.

deltas: Use base64 for csums, add version to parts

repo: Store pending objects in prefixed subdirectory

I was hitting a bug in libguestfs/guestmount/FUSE where it blew up
with EINVAL on directories containing lots of files (more than
32000?).  We really want to use prefixed subdirs just like the real
objects/ directory does.

This allows us to share more code between the paths, is more
efficient, etc.

repo: Fix major performance regression with --scan-hardlinks

gnome-continuous uses the ostree_repo_scan_hardlinks() mode to
avoid re-checksumming everything.  However, when I ported the commit
code to use openat() and friends, this optimization was lost.

Re add it.  The difference is about 15s versus 5 minutes.

pull-local: Fix regression with absolute paths

Don't add cwd unless the path is relative.

Change pull-local to just be a wrapper for pull with file:///

This follows up from the previous commit; now that pull knows how to
do the efficient link() or copy for local files, we can just have
pull-local call into ostree_repo_pull().

As part of this:
 - pull() can also accept a file:/// URI instead
   of a remote name (since pull local supports anonymous pulls)
 - pull() knows an "override-remote-name" option, since pull-local
   supported writing a ref out even if there wasn't a remote with
   that name

pull: Optimize file:/// URIs to skip libsoup and hardlink if possible

It's always been suboptimal to have both pull and pull-local; as we go
beyond the raw object data into things like deltas and summary files,
the logic to perform e.g. mirroring should only be in one place.

This will be used by Pulp's OSTree content plugin at least to perform
promotions.

Add an internal API to get a read fd for a content object

This will be used by the static deltas work.

pull: Copy the upstream summary file when doing a pull --mirror

While it could be regenerated downstream, there might be other
metadata upstream, and the goal here is a mirror.

https://bugzilla.gnome.org/show_bug.cgi?id=739377

When mirroring, write content directly, do not verify

When doing a pull --mirror from an archive-z2 repository into another
archive-z2 repository, currently we gunzip/checksum/gzip each content
object.  The re-gzip process in particular is fairly expensive.

This does assume that the upstream content is trusted and correct.
It'd be nice in the future to do at least a CRC check, if not the full
checksum.  (Could we append CRC data to the end of filez objects?)

We could also choose to only do this optimization if fetching over
TLS.

before: 1626 metadata, 20320 content objects fetched; 299634 KiB transferred in 62 seconds
after : 1626 metadata, 20320 content objects fetched; 299634 KiB transferred in 11 seconds

Add an internal API to stream content objects

For future delta work where we do more interesting things than just
"tar of new objects", this lays the groundwork for doing streaming
writes into content objects.

It's also more efficient, as we avoid many intermediate allocations
and virtual calls.  Just a single `g_output_stream_write_all` for the
splice case.

Conflicts:
src/libostree/ostree-repo-private.h
src/libostree/ostree-repo-static-delta-processing.c

util: Add an API to atomic-replace a file, dirfd relative, optional fsync

This can be used in other places too, but I plan to use it to write
the summary file.

repo: Hold an fd "repo_dir_fd" open for the toplevel too

We could just make everything relative to this, but the objects/ and
tmp/ are accessed very often, so I think it's worth holding individual
fds.

This fd can cover everything else: refs, deltas, etc.

prepare-root: Update comments

prepare-root: avoid double-stacked /sysroot mount

prepare-root works with the mount that has been set up at /sysroot.
It creates a bind-mount within /sysroot (the deployment) and then moves
that mount to /sysroot.

Now we have 2 mounts both at /sysroot, and once we do switch_root, we will
never be able to unmount both of them. I'm not sure if this is ultimately
a kernel bug, but either way, ostree could do a bit more tidying up
after itself.
http://thread.gmane.org/gmane.linux.file-systems/92411

Easy way to reproduce:
1. Boot with rd.break param
2. At initramfs shell, run: ostree-prepare-root /sysroot
3. Observe two /sysroot mounts in /proc/mounts

Fix this by setting up the mounts at /sysroot.tmp, and unmounting the
original /sysroot before our new mount is MS_MOVEd on top of it.

packaging: Add man5 pages

tests: Add tests for ot-unix-utils

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

configure.ac: Enable option subdir-objects for automake

It silences an automake warning and keep the rootdir cleaner.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>